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(57) Abstract 

Output signals of individual, computer-assisted statistical estimators 2d- 
(neural networks) are combined into a results signal in a global estimator. 
To this end, the individual estimators are trained selectively by means of 
bootstrap data and the weightings of the individual estimators effected in 
a regularized manner as a contribution to the results signals. Weighting is 
carried out selectively widi "1" or according to the variance of the individual 
estimator concerned. As a result, significantly better results are achieved for 
the prediction of numerical values, especially if the amount of training data 
available is small. Said method can be used for modelling, prognosis and pi.^ 
classification by means of neural networks. 
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(57) Zusanunenfassung 

Ausgangssignale einzelner rechnergestUtzter statistischer Schatzer (neu- 
ronale Netze) werden zu einem Ergebnissignal in einem Gesamtschatzer 
zusammengefaBt. Dabei werden die einzelnen Schatzer wahlweise Uber Boot- 
strap-Daten trainiert und die Gewichtungen der einzelnen Schatzer als Beitrag 
zum Ergebnissignal legularisiert vorgenommen. Die Gewichmng erfolgt 
wahlweise mit *'l " oder abhSngig von der Varianz des einzelnen Schatzers. Bel 
der Vorhersage von Zahlenwerten werden somit vor allem bei einer kleinen 
Menge zur Verfttgung stehender Trainlngsdaten deudich bessere Ergebnisse 
erzielt. Anwendungen: Modellierung. Prognose und Klassifikation mittels 
neuronaler Netze. 
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Beschreibung 

Verfahren zur Koinbination von Ausgangsslgnalen mehrerer 
Schatzer, insbesondere von znindestens einem neuronalen Netz, 
zu einem von einem Gesamtschatzer ermittelten Ergebnis signal 

Die Erfindung betrifft ein Verfahren zur Kombination von 
Ausgangssignalen mehrerer Schatzer, insbesondere von 
mindestens einem neuronalen Netz, zu einem von einem 
Gesamtschatzer ermittelten Ergebnissignal . 

Bel neuronalen Netzen und anderen rechnergestiitzten 
Schatzern, die auf statistischen Verfahren beruhen, ist es 
zweckma^>ig^ wenn ein Problem einer Zuordnung von 
Eingangssignalen zu Ausgangssignalen in eine reduzierte Menge 
von Zuordnungen aufgeteilt wird. 

Es ist bekannt, einen rechnergestiitzten statistischen 
Schatzer, also beispielsweise ein neuronales Netz, in mehrere 
kleinere rechnergestUtzte statistische Schatzer aufzuteilen 
und Aus gangs signale dieser vereinf achten Schatzer zu 
gewichten und in einem Gesamtschatzer zu einem Ergebnissignal 
zu akkumulieren [1]. 

Um die Ergebnisse bei der Akkumulierung zu verbessern ist aus 
[2] bekannt, die Ausgangssignale aller Module, also aller 
einzelnen Schatzer, zu mitteln, und somit das von einem 
Gesamtschatzer ermittelte Ergebnissignal zu verbessern. 

Hierbei sei angemerkt, daB sich der Begriff des statistischen 
Schatzers nicht ausschlieiJlich auf kunstliche neuronale Netze 
beschrankt, sondern jedwede Art rechnergesttitzter Schatzer 
umfafit, die auf statistischen Verfahren basieren. Eine 
Ubersicht tiber rechnergestUtzte Schatzer, die auf 
statistischen Verfahren basieren ist in [3] gegeben. 
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Eine Regularisation ist aus [6] bekannt. Insbesondere wird 
darunter das Hinzufugen eines Terms zu einer Fehlerfunktion 
verstanden. Ein Regularisationsparameter bestimmt dabei das 
Gewicht des Terms zur Regularisation. 

5 

Aus [7] ist ein Verfahren zur rechnergesttitzten Kombination 
einer Vielzahl von Schatzern, die auf statistischen Verfahren 
beruhen^ insbesondere von neuronalen Netzen, zu einem 
Gesamtschatzer bekannt. 

10 

Dem erf indungsgemaiien Verfahren liegt die Aufgabe zugrunde, 
bei einer kleinen Menge von Trainingsdaten ein Oberlernen der 
statistischen Schatzer zu verhindern und somit ein von dem 
Gesamtschatzer ermitteltes Ergebnissignal zu verbessern. 

15 

Die Aufgabe wird gemaB der Merkmale des unabhangigen 
Patentanspruchs gelQst . 

Insbesondere ist ftir die Erfindung von Bedeutung, daB bei dem 

20 Training des einzelnen Schatzers, insbesondere des neuronalen 
Netzes^ eine Regularisation vorgenommen wird. Weiterhin 
werden die Ausgangssignale der einzelnen Schatzer mit je 
einer Gewichtsfunktidn bewertet. Dabei hangt jede 
Gewichtsf unktion von den Daten, mit denen der jeweilige 

25 Schatzer trainiert wird, ab. Der Gesamtschatzer mittelt die 
Ausgangssignale aller einzelnen Schatzer zu einem 
Ergebnissignal. Es ist vorteilhaft, dafi bei dem Training 
jedes einzelnen Schatzers die Kostenf unktion minimiert wird, 
wobei ein vorgebbarer Regularisationsparameter angibt, 

30 inwieweit die Varianz des einzelnen Schatzers verringert wird 
zu Lasten eines zunehmenden Einflusses von Rauschen. Werden 
die einzelnen Schatzer mit Bootstrapdaten trainiert, erhalt 
man trotz grolier Werte des Regularisationsparameters noch 
groiie Varianzen. Unter Bootstrapdaten versteht man Daten, die 

35 aus der Menge der Originaldaten durch Ziehen mit Zuriicklegen 
gewonnen werden. Fur eine nahere Betrachtung der 
Bootstraptechniken kann auf [4] verwiesen werden. 
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Eine Weiterbildung des erf indungsgemaBen Verfahrens besteht 
darin, die Gewichtsf unktion fur alle Schatzer zu '1' zu 
setzen* Weiterhin konnen die einzelnen Schatzer zusatzlich 
mit Boptstrapdaten trainiert werden. 

Auch kann es vorteilhaft sein, in der Gewichtsf unktion die 
Varianz zu berucksichtigen, Dartiber hinaus konnen auch in 
diesem Fall die jeweiligen Schatzer mit Bootstra-pdaten 
trainiert werden. 

Weiterbildungen des erf indungsgemaUen Verfahrens ergeben sich 
aus den abhangigen Anspriichen. 

Die Erfindung wird anhand der folgenden Figuren naher 
dargestellt. 

Es zeigen 

Fig.l ein Blockdiagramm, das schematisch eine Anordnung 
darstellt, die zeigt, wie die Ausgangssignale 
mehrerer einzelner Schatzer zu einem Ergebnissignal 
in einem Gesamtsch^tzer zusammengefiihrt werden. 

Fig. 2 ein Ablauf diagramm, das die einzelnen Schritte des 
erf indungsgemafien Verfahrens darstellt. 

In Fig.l ist dargestellt, wie die Ausgangssignale der 
einzelnen Schatzer zu einem Ergebnissignal im Gesamtschatzer 
zusammengefuhrt werden. Im Folgenden werde angenommen, daB 
i=l'2,...,k eine Zellvariable fur die einzelnen Schatzer ES 
darstellt. Jeder einzelne Schatzer ES wird durch eine 
vorgebbare Auswahl von Trainingsdaten x trainiert. 

Unter einzelnen Schatzern ES werden in diesem Zusammenhang 
rechnergestiitzte statistische Schatzer verstanden, wie 
beispielsweise neuronale Netze oder jedwede Art anderer 
Schatzer, die auf statistischen Verfahren beruhen. 
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Algorithmen zum Trainieren statistischer Schatzer sind dem 
Fachmann bekannt . Eine Ubersicht betreffend eine Auswahl von 
Trainingsalgorithmen ist in [5] gegeben. 

Es ist vorgesehen, daR die einzelnen Schatzer ES nicht alle 
mit denselben Trainingsdaten x trainiert werden, sondern sie 
konnen auch jeweils nur mit einem Teil der Trainingsdaten x 
trainiert werden, wie das beispielsweise bei Bootstrapdaten 
der Fall ist. 

Durch Gewichtsfunktionen werden Ausgangssignale Aj. der 
einzelnen Schatzer ES gewichtet, wobei die jeweilige 
Gewichtsf unktion a^ von den Daten, mit denen der jeweilige 
einzelne Schatzer ES trainiert wird, abhangt. 

Das vom Gesamtschatzer GS ermittelte Ergebnissignale ERS 
liegt am Ausgang des Gesamtschatzer GS an und wird wie folgt 
berechnet: 

1 ^ 

ERS(x) = -r-r 2^hi(x)fi(x) (1), 

n(x) r^^ 
M 

mit n(x) = X hj(x) und hi(x) > 0, Vi = 1,2, • . , M , 
j = l 

wobei 

hi (x) , eine Gewichtsf unktion fUr den jeweiligen Schatzer 

und 

n(x} einen Normalisierungsf aktor 

bezeichnen. 

Jeder einzelne Schatzer ES wird regularisiert trainiert, urn 
di e Ko s t enf unktion 

Ci = S (y^ - fi(x^)f + ^ • Zw?j (2) 
k=l j=l 
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zu miniinieren, wobei 

i=l,2,,,,M den jeweiligen Schatzer, 

K c L eine Menge von K Trainingsdaten aus einer Menge 

5 von L Gesamttrainingsdaten^ 

y einen Ausgabewert des jeweiligen Schatzers, 

f i (x) eine Antwort des i-ten Schatzers auf die Eingabe 

X > 0 einen Regularisationsparaitieter, 

10 J eine Anzahl von Gewichten in dem jeweiligen 

Schcitzer und 

( 2 )J 

(^ijj. ^ Gewichte des i--ten Schatzers, 
bezeichnen. 

15 Die Gewichtsf unktion h^ fiir jeweils alle Schatzer kanh 
gesetzt werden zu 

hi(x) = 1 (3) 
20 Oder zu 

var(fi(x)j 

wobei var(fi(x)) die Varianz des Schatzers i fUr eine 
25 Eingabe x bezeichnet. 



Es ist vorteilhaft, sowohl die nach Gleichung (3) also auch 
nach Gleichung (4) gewichteten einzelnen Schatzer jeweils mit 
Boot strapda ten zu trainieren. 

30 

Anwendung des erf indungsgemalJen Verfahrens ist die Pradiktion 
von Zahlenf olgen . Eine Menge von vergangenen bekannten 
Zahlenwerten wird benutzt urn einen Schatzer zu trainieren, 
der entsprechend dem erf indungsgemaBen Verfahren unterteilt - 
35 ist in einzelne Schatzer und einen Gesamtschatzer , Das somit 
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trainierte System aus mindestens einem rechnergestiitzten 
statistischen Schatzer ist in der Lage, mit einer bestimmten 
Vorhersagewahrscheinlichkeit den nachsten Wert einer 
Zahlenfolge vorherzusagen. 

Fig. 2 zeigt die einzelnen Schritte des erf indungsgemaBen 
Verfahrens- In Schritt 2a wird ein regularisiertes Training 
vorgenommen, wobei die Kostenfunktion (2) minimiert werden 
soil. Dazu muB der Regularisationsparameter X entsprechend 
der jeweiligen Anwendung eingestellt werden. Iin Schritt 2b 
wird die Gewichtsfunktion fUr jeden Schatzer berechnet. Als 
Gewichtsfunktion wird entweder Formel (3) oder Formel (4) 
verwendet . 

SchlieBlich wird das Ergebnissignal im Schritt 2c gemaJi 
Formel (1) berechnet. 
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Patentanspriiche 



1 . Verf ahren zur Kombination von Ausgangssignalen mehrerer 
Schatzer, insbesondere von mindestens einem neuronalen 
NetZ/ zu einem von einem Gesamtschatzer ermittelten 
Ergebnissignal / 

a) bei dem die einzelnen Schatzer als neuronale Netze 
ausgefuhrt sind und mit vorgebbaren Daten trainiert 
we r den, 

b) bei dem das Training der Schatzer regularisiert 
vorgenommen wird, 

c) bei dem das Ausgangssignal jedes einzelnen Schatzers 
mit einer Gewichtsf unktion bewertet wird, 

d) bei dem jede Gewichtsf unktion von den Daten, mit denen 
der jeweilige Schatzer trainiert wird, abhangt, 

e) bei dem das Ergebnissignal vom Gesamtschatzer 
ermittelt wird, indem die Ausgangssignale unter 
Berucksichtigung der jeweiligen Gewichtsfunktionen 
gemittelt werden, 

2. Verf ahren nach Anspruch 1, 

bei dem jeder Schatzer regularisiert trainiert wird, urn 
die Kostenfunktion C 



K / . .^o J 

j=i 



zu minimi er en, wobei 



i=l,2,..,M den jeweiligen Schatzer, 

K c L eine Menge von K Trainingsdaten aus einer 

Menge von L Gesamttrainingsdaten, 

y einen Ausgabewert des jeweiligen 

Schatzers, 

f i (x) eine Antwort des i-ten Schatzers auf die 

Eingabe x, 

^ ^ 0 einen Regularisationsparameter, 
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J eine Anzahl von Gewichten in dem 

jeweiligen Schatzer, 

|w?j| ^ Gewichte des i-ten SchatzerS/ 

bezeichnen. 

3. Verfahren nach Anspruch 2, 

bei dem sich das Ergebnissignal (ERS) des Gesamtschatzers 
ergibt aus 



1 ^ 

ERS(x) = -r-^ Xhi(x)fi(x) 



M 
i = l 
M 

mit n(x) = X) hj(^) ^rid hi(x) > 0, Vi = 1,2, . . , M , 

j = l 

wobei 

hi (x) eine Gewichtsfunktion fur den jeweiligen 

Schatzer und 
n(x) einen Normalisierungsf aktor, 

bezeichnen . 



4. Verfahren nach Anspruch 3, 

bei dem die Gewichtsfunktion (h) fur alle Schatzer 
gesetzt wird zu 

hi(x) = 1, Vi = 1,2, . • . , M . 

5. Verfahren nach Anspruch 4, 

bei dem die jeweiligen Schatzer mit Bootstrap-Daten 
trainiert werden. 

6. Verfahren nach Anspruch 3, 

bei dem die Gewichtsfunktion (h) fiir alle Schatzer 
gesetzt wird zu 
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hi(x) = / . . w Vi = 1,2, ._,M, 

var(fi(x)j 

wobei 

var(fi{x)) die Varianz des Schatzers i ftir eine 

5 Eingabe x 

bezeichnet • 



7. Verfahren nach Anspruch 6, 

bei dem die jeweiligen SchStzer mit Bootstrap-Daten 
10 trainiert werden. 

r 
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(54) TIfle: METHOD FOR COMBINING OUTPUT SIGNALS OF SEVERAL ESTIMATORS, IN PARTICULAR OF AT LEAST ONE 
NEURAL NETWORK, INTO A RESULTS SIGNAL DETERMINED BY A GLOBAL ESTIMATOR 

(54) Bezeichnung: VERFAHREN ZUR KOMBINATION VON AUSGANGSSIGNALEN MEHRERER SCHATZER, INSBESONDERE , 
VON MINDESTENS EINEM NEURONALEN NETZ, ZU EINEM GESAMTSCHATZER ERMirrELTEN ERGEB- 
NISSIGNAL 

(57) Abstract 

Output signals of individual, computer-assisted statistical estimators 
(neural networks) are combined into a results signal in a global estimator. 
To this end, the individual estimators are trained selectively by means of 
bootstrap data and the weightings of the individual estimators effected in 
a regularized manner as a contribution to the results signals. Weighting is 
carried out selectively with "1" or according to the variance of the individual 
estimator concerned. As a result, significantly better results are achieved for 
the prediction of numerical values, especially if the amount of training data 
available is small. Said method can be used for modelling, pix)gnosis and 
classification by means of neural networks. 

(57) Zusammenfassung 

Ausgangssignale einzelner rechnergestOtzter statistischer Schatzer (neu- 
ronale Netze) warden zu einem Ergebnissignal in einem Gesamtschatzer 
zusammengefaBt. Dabei werden die einzelnen Schatzer wahlweise Uber Boot- 
strap-Daten trainiert und die Gewichtungen der einzelnen Schatzer als Beitrag 
zum Ergebnissignal regularisiert vorgenommen. Die Gewichtung ©rfolgt 
wahlweise mit "1 " oder abhangig von der Varianz des einzelnen Schatzers. Bei 
der Vorhersage von Zahlenwerten werden somit vor allem bei einer kleinen 
Menge zur Verfttgung stehender TYainingsdaten deutiich bessere Ergebnisse 
erzielt Anwendungen:. Modellierung, Prognose und Klassifikation mittels 
neuronaler Netze. 
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